Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.

Samsung đầu tư lớn vào AI cho thiết bị gia dụng

Samsung có kế hoạch đầu tư lớn vào việc nâng cao khả năng AI trong nhiều loại thiết bị gia dụng của mình. Theo một báo cáo được DigiTimes công bố ngày hôm nay, gã khổng lồ công nghệ Hàn Quốc có kế hoạch "trang bị cho tất cả các sản phẩm thiết bị gia dụng mới của mình với bộ xử lý thần kinh (NPU)", vào năm 2024. Các kế hoạch bao gồm cả thiết bị cao cấp và phổ thông trong các danh mục sản phẩm như TV thông minh, máy rửa bát, lò nướng, tủ lạnh và điều hòa không khí. Ai biết được, nó thậm chí có thể thêm AI vào máy nướng bánh mì.

Nvidia TensorRT-LL tăng gấp đôi hiệu suất LLM trên GPU H100

Nvidia cho biết phần mềm mã nguồn mở TensorRT-LL mới của họ có thể tăng hiệu suất đáng kể của các mô hình ngôn ngữ lớn (LLM) trên GPU của họ. Theo công ty, khả năng của TensorRT-LL của Nvidia cho phép họ tăng hiệu suất của GPU H100 của họ lên hai lần trong LLM GPT-J với sáu tỷ tham số. Quan trọng là phần mềm có thể cho phép cải thiện hiệu suất này mà không cần đào tạo lại mô hình.

Samsung đầu tư lớn vào AI cho thiết bị gia dụng

Samsung có kế hoạch đầu tư lớn vào việc nâng cao khả năng AI trong nhiều loại thiết bị gia dụng của mình. Theo một báo cáo được DigiTimes công bố ngày hôm nay, gã khổng lồ công nghệ Hàn Quốc có kế hoạch "trang bị cho tất cả các sản phẩm thiết bị gia dụng mới của mình với bộ xử lý thần kinh (NPU)", vào năm 2024. Các kế hoạch bao gồm cả thiết bị cao cấp và phổ thông trong các danh mục sản phẩm như TV thông minh, máy rửa bát, lò nướng, tủ lạnh và điều hòa không khí. Ai biết được, nó thậm chí có thể thêm AI vào máy nướng bánh mì.